A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL
多领域RL中跨域干扰与恢复的局部扰动理论
🧭 LLM多领域RL训练干扰机理与恢复
TJUNLP Lab, College of Intelligence and Computing, Tianjin University · Baidu Inc.
揭示多领域RL顺序训练的稀疏共享冲突子空间，通过refresh即可高效恢复旧领域性能
📌 工作参考价值（4 点）
- 顺序微调LLM多个任务时，可通过简短的“刷新”步骤（用极少量旧域数据再训练几步）以极小代价恢复受损域性能，避免昂贵联合训练。
- 干扰集中于低维冲突子空间，可在线监测模型顶部稀疏神经元的梯度方向重叠或参数变化冲突，提前预警新任务训练对旧能力的损害。
- 训练免回滚方法揭示了冲突坐标集的存在，可对已部署模型做选择性参数回退，精准修复特定指标退化而无需全量回滚。
- 对于电商多技能Agent，不同能力微调可采用LoRA等稀疏适配，冲突时仅需刷新对应适配器，大幅降低跨域干扰风险。